Carter rời Tòa Bạch Ốc sau chiến thắng vang dội của Ronald Reagan trong cuộc tuyển cử năm 1980. Reagan giành được xấp xỉ 51% phiếu phổ thông, trong khi Carter chỉ có 41%, nhưng vì sự ủng hộ của cử tri dành cho Carter không tập trung vào các khu vực địa dư, Reagan chiếm được 91% phiếu của cử tri đoàn, chỉ để lại cho Carter vỏn vẹn sáu tiểu bang và Đặc khu Columbia. Ứng cử viên độc lập John Bayard Anderson thu hút phiếu của cử tri có khuynh hướng tự do bất bình với chính sách của Carter, tuy chỉ được 7% phiếu nhưng gây khó khăn cho Carter ở những bang có truyền thống ủng hộ Đảng Dân chủ như tiểu bang New York, Wisconsin và Massachusetts.

Cảm giác chung của công luận là việc chính phủ Carter đã không giải quyết hiệu quả cuộc khủng hoảng con tin ở Iran góp phần vào thất bại của ông trong cuộc bầu cử tổng thống. Mặc dù nhóm thương thuyết đã đàm phán thành công với những người bắt giữ con tin, bản thoả thuận chỉ được ký vào ngày 19 tháng 1 năm 1981, sau khi Ronald Reagan đắc cử. Các con tin được trả tự do năm phút sau lễ nhậm chức tổng thống sau 444 ngày bị cầm giữ. Reagan đã yêu cầu Carter đến Đức để chào đón các con tin.

Chính phủ